TokenRouter：高效 token 级 LLM 路由服务系统
🧭 LLM Serving · Token 级路由
Tsinghua University · Carnegie Mellon University
设计 TokenRouter，以请求中心编程、模型中心执行和延迟批处理调度大幅提升 token 级 LLM 路由吞吐
📌 工作参考价值（3 点）
- 在电商/广告的 LLM 多模型路由场景中，可借鉴 request-centric programming, model-centric execution 的分层思想：策略侧只需按单个请求描述路由逻辑，由运行时为每个模型启动独立 subserver 并异步分发，避免将路由策略硬编码进模型服务，降低开发复杂度。
- delayed-batching scheduler 通过有界延迟换取更高吞吐，适合批量生成商品描述、广告文案、搜索 query 推荐等近线/离线任务；其最优超参数可由吞吐模型推导，减少人工调参成本。
- 异步执行和 CUDA Graph 优化在多模型异构推理中可复用，提高 GPU 利用率；若业务同时部署大小模型或专用生成模型，可参考 subserver 隔离与异步调度避免互相阻塞。
SparseEngine：稀疏优先的LLM推理引擎
🧭 稀疏注意力 · KV cache推理引擎 ★ 深度解读
Harbin Institute of Technology
通过统一生命周期契约支持15种稀疏注意力方法，并提供Chain Cache与可控前缀缓存剪枝，实现长上下文agent推理10倍吞吐提升
📌 工作参考价值（4 点）
- 生命周期 hook 抽象可借鉴到自研推理服务：将稀疏方法集成点解耦为 SparseController（注册回调）、CacheManager（方法特定状态存储）和 AttentionView（连接注意力后端），可以不改模型代码快速接入多种稀疏/压缩策略，适合电商 Agent 服务中灵活切换 KV 优化方案。
- Chain Cache 对多轮 Agent 场景非常实用：跨请求保留被 eviction 方法裁剪过的 KV 及元数据（如 H2O 累积分数），能避免每轮重新 prefill 完整历史，对电商客服、推荐 agent 等多轮交互可显著降低首字延迟和重复计算。
- 可控 prefix-cache pruning 允许业务方按价值管理上下文：应用可以指定历史区间（如低价值的工具输出）和保留比例，用稀疏策略（如 KVzip）选择保留位置，同时保持逻辑前缀匹配，适合在广告/推荐 agent 中清理过期或冗余的会话内容而不破坏缓存复用。
- 实验结论表明物理 KV 驱逐是吞吐提升的关键：在相同 GPU 内存下，SnapKV 物理驱逐可支撑约10倍更大 batch，带来约10倍 aggregate decode throughput；动态稀疏注意力在匹配并发下可获1.5-2.6倍 decode 吞吐提升，且质量几乎无损（LongBench 平均差异仅 +0.17 分），可作为电商长上下文 LLM 推理优化的直接依据。
REVA：可复用证据视图聚合实现上下文高效 RAG 服务
🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读
VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA
挖掘历史查询-文档注意力聚合为可复用证据视图，以极低在线开销实现高质量 RAG 上下文压缩
📌 工作参考价值（4 点）
- 电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高，可离线挖掘目标 LLM 对文档的注意力，构建文档级 evidence score store，线上只做轻量视图渲染，将压缩延迟从百 ms 级降到几十 ms。
- 借鉴 word-unit 聚合：不直接存储 token 级分数，而是合并为可读词单元（保护价格、型号、日期等短结构化片段），避免输出碎片化，便于审计与 Debug。
- 采用 budget-agnostic 的 score store：同一份文档分数支持不同 prompt 预算；local 等额配额是默认安全策略，global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
- 注意兼容性 key（generator/tokenizer/template/corpus version），避免跨模型或语料版本错误复用分数；可用异步更新和指数衰减应对 query 分布漂移。
解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
C²KV：压缩与可组合的KV缓存复用，实现高效长上下文LLM推理
🧭 LLM推理加速 · KV缓存复用与压缩
Shanghai Jiao Tong University · Alibaba Group
联合优化KV压缩与拼接，实现位置无关的可组合缓存，长上下文推理加速达17倍
📌 工作参考价值（4 点）
- 在构建基于RAG的推荐或多文档搜索系统时，可直接复用C²KV的压缩与可组合缓存，避免每次请求重新编码海量上下文，大幅降低首token延迟和GPU内存占用。
- 轻量侧车Extractor不修改基座模型，适合在已有生产LLM（如阿里通义、ChatGLM）上快速部署，无需重新训练或对齐，工程风险低。
- 位置无关的模块化缓存设计，允许不同来源的文档片段独立压缩后动态拼接，特别适合电商搜索中多商品描述、多用户评价等异构上下文组合场景。
- 压缩-拼接联合训练策略确保压缩后的表示可直接用于下游注意力计算，避免简单量化和重用带来的精度崩塌，为业务中长文本处理提供了可靠的效率-质量平衡。
SMetric: 面向Agent服务的均衡会话中心LLM调度
🧭 Agent 服务调度优化 · 会话中心负载均衡
Shanghai Jiao Tong University · Alibaba Group · ShanghaiTech University
利用Agent工作负载的会话内局部性，通过会话首请求负载均衡+后续请求缓存亲和路由，在不牺牲KV重用下实现高吞吐
📌 工作参考价值（4 点）
- 在电商/搜索Agent系统中，会话内多步请求KV重用率极高（>80%），可采用SMetric的调度策略：每个session的首次请求做简单轮询或最少连接调度实现负载均衡，后续请求固定路由到缓存了前缀KV的实例，兼顾吞吐与延迟。
- 若已有全局KV存储（如分布式缓存层），可将调度策略与缓存分层结合：本地实例缓存热数据，全局存储兜底，使负载均衡不再以完全牺牲重用为代价。
- 会话轮次信息可直接从请求中的session_id或轮次号提取，无需额外状态维护，调度器可保持无状态、易扩展，适合生产环境快速落地。
- 对于采用prefill-decode混部或disaggregation架构的大型Agent服务，该调度方法可提升整体吞吐10-30%，同时降低每token延迟，有效应对突发流量。
JetSpec：通过并行树草稿打破投机解码的规模天花板
🧭 投机解码 · 并行树草稿突破 scaling 瓶颈
UC San Diego · Zhejiang University · UIUC · Nanjing University · StepFun
JetSpec使用因果并行草稿头一次性生成树形候选，将更大预算转化为更长接受前缀，实现最高9.64倍加速
📌 工作参考价值（4 点）
- 在搜索推荐或Agent的LLM推理服务中，可直接应用JetSpec的并行树草稿方案，突破budget增大后的加速天花板，降低长文本生成（如解释性推荐理由、对话式Agent）的延迟。
- 草稿头训练方法：冻结目标LLM，将多层隐藏状态融合后作为输入，训练因果并行草稿头，可在不修改目标模型前提下降低部署风险，适合工业环境快速迭代。
- 树状注意力设计：采用分支因果条件，生成内部自洽的候选树，避免分支间不一致造成的接受率下降，可迁移到其他基于树搜索的解码加速方案（如搜索评分、query改写候选生成）。
- 与vLLM的集成验证了JetSpec在真实负载下的有效性，可为工程化落地提供参考，尤其适合高并发、对延迟敏感的在线推荐/Agent系统。
智能体记忆：长时状态工作负载的特性与系统启示
🧭 智能体记忆系统设计与部署特征分析 ★ 深度解读
Stanford University · Independent Researcher · MICAS, KU Leuven · Massachusetts Institute of Technology
首次系统表征智能体记忆工作负载，揭示构建成本主导生命周期，并提出面向部署的十项建议。
📌 工作参考价值（5 点）
- 业务选型时不能只看准确率，需将构建成本、查询延迟、存储增长、能耗等系统指标纳入决策。
- 将记忆构建作为后台批处理任务，与在线查询分离调度，避免抢占GPU资源影响延迟；根据范式选择合适的批大小。
- 长生命周期智能体必须引入主动裁剪/遗忘策略，否则存储和token成本会非线性增长；使用合并式记忆系统可抑制膨胀。
- 根据业务场景的查询频率和历史稳定程度选择记忆范式：高查询率、稳定历史选重构建轻查询系统（如Mem0）；持续流入、低查询率选轻构建系统（如BM25）。
- 部署LLM控制流的记忆系统时，必须设置最大工具调用轮次或超时，防止检索/构建尾部延迟不可控。